package com.xiyeqilai;

import com.xiyeqilai.pojo.WebData;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class Reptile {
    public static void main(String[] args) {

    }
    //可以选择爬取第几页到第几页的数据。
    public static List<WebData> getWebData(int beginPage,int endPage){
        List<WebData> webDataList = new ArrayList<>();
        for (int i=beginPage;i<=endPage;i++){
            try {
                //获取页面的document对象
                Document document = Jsoup.connect("https://www.aquanliang.com/blog/page/"+beginPage).get();

                //获取包含了要爬取数据的所有行
                Elements elements = document.getElementsByClass("_3gcd_TVhABEQqCcXHsrIpT");
                //遍历每一行获取数据
                for (int j = 0; j < elements.size(); j++) {
                    Elements elements1 = elements.eq(j);
                    //获取图片
                    String img = elements1.select("img").eq(0).attr("src");
                    //获取标题
                    String title = elements1.select("div._3_JaaUmGUCjKZIdiLhqtfr").text();
                    //获取发布时间
                    String time = elements1.select("div._3TzAhzBA-XQQruZs-bwWjE").text();
                    //获取浏览数
                    String viewCount = elements1.select("div._2gvAnxa4Xc7IT14d5w8MI1").text();
                    //封装对象
                    WebData webData = new WebData(img, title, time, viewCount);
                    //加入列表
                    webDataList.add(webData);
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return webDataList;
    }
}
